Quận Walker được thành lập ngày 26 tháng 12 năm 1823, và được hình thành từ các phần của các quận Marion và Tuscaloosa. Quận được đặt theo tên của Thượng nghị sĩ John Walker, người đại diện Alabama tại Thượng viện Hoa Kỳ giai đoạn 1819-1822. Jasper là quận lỵ, được đặt theo tên William Jasper, một anh hùng Red Stic War từ Nam Carolina.